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Ameagas aos Programas 



► Software e algo complexo 

► Grande numero de estados 

► Se tiver muitas pessoas envolvidas entao. 



Quase impossivel funcionar de primeira! 
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Como se Defender? 



► Toda permutagao deveria ser testada 

► Impossivel para a maioria dos casos 

► Bom testador sabe escolher o que testar 

► Reduz numero de casos de teste necessarios 



Teoria de Testes Teoria de TDD 



Metodologia de Pesquisa 



Artigos sobre TDD 



Artigos sobre Testes 



Casos de Teste? 



Estrutura ► Entrada usada 

► Execugao a ser feita 

► Saida esperada 

► Compara safda obtida com esperada 



De preferencia usar pessoas e organizagoes diferentes para 
implementar e testar 
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Ohhhh! 



"De acordo com urn estudo conduzido pelo NIST, National Institute 
of Standards and Technology, Departamento de Comercio dos 
E.U.A., em 2002, os defeitos resultam num custo anual de 59,5 
bilhoes de dolares a economia dos Estados Unidos. Mais de urn 
tergo do custo poderia ser evitado com melhorias na infraestrutura 
de teste de software." 1 



1 http://www.nist.gov/itl/csd/bugs_1 1 091 0.cfm 
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Tecnicas 



Caixa-branca (estrutural): voltado a logica do programa, 
analisa o codigo fonte do mesmo 

Caixa-preta (funcional): voltado a entrada e safda, 
implementagao nao e considerada 

Caixa-cinza: mescla as duas tecnicas 

Tecnicas nao funcionais: verificam atributos como 
confiabilidade, eficiencia, usabilidade, manutenibilidade e 
portabilidade 

Regressao: a cada nova versao do software sao aplicados 
todos os testes ja aplicados anteriormente 
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Niveis 



► Teste de Unidade: testam pequenas partes do codigo 

► Teste de Integracao: testam a integragao entre 
componentes internos de um sistema 

► Teste de Sistema: testam o sistema do ponto de vista do 
usuario final 

► Teste de Aceitacao: realizados por uma parte dos usuarios 
finais para verificar se aceitam ou nao o sistema 

► Teste de Operagao: conduzidos por aqueles que 
administrarao o sistema quando estiver no ambiente produtivo 
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Fases 



Testes Alfa: conduzido pelo cliente no ambiente do 
desenvolvedor, com este "olhando sobre o ombro" 
[Pressman, 2002] do usuario e registrando erros e problemas 
de uso 

Teste Beta: conduzido no ambiente do cliente, 
desenvolvedor nao presente e nao controla ambiente, 
problemas sao relatados depois 

Candidato a Langamento (Release Candidate): sera 
versao final se poucos erros forem encontrados 
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Objetivo 

Codigo limpo que funcione! [Beck, 2003] 

Como? ► Escrever novo codigo apenas se caso de teste 
falhar 
► Eliminar duplicagao 

Ordem de trabalho: 

1 . Escrever teste que nao funcione 

2. Escrever codigo resolvendo o teste 

3. Refatorar 



Sempre escrever o teste antes! 



Teoria de Testes Teoria de TDD 



Metodologia de Pesquisa 



Artigos sobre TDD 



Artigos sobre Testes 



Estrutura dos Testes 



1. Preparagao 

2. Execugao 

3. Validagao 

4. Limpeza 
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Efeitos 



► Desenvolver organicamente, rodar o codigo com frequencia 
para obter uma resposta dele 

► Criar seus proprios casos de teste, pois nao ha como esperar 
outra pessoa escreve-los 20 vezes por dia 

► Design modular para facilitar testes 
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De Onde Sairam os Artigos? 



► TDD:XP2011,XP2012, XP2013 

► Testes: ICST2012, ICST2013 
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Quantos? 



Lista de artigos da ICST + Google Academia + Selenium 



Muitos artigos! (+60) 
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Assuntos 



Melhora de Valores Testados 



Model Testing 



Analise de Falhas 




Metricas 

Teste de GUI 



Outras Metodologias de Testes 



Concolic Testing 
Oraculo 



i/lutacao 
Bancos de Dados 



Figura : Distribuigao de Artigos por Assunto 
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Novas Aplicagoes de TDD? 



A Test-Driven Approach for Extracting Libraries of Reusable 
Components from Existing Applications [Selim et al., 201 1] 

Problema XP, ao tentar desenvolver rapido, peca ao nao 
planejar componentes para serem reusaveis 



'YAGNI - You Ain't Gonna Need It' is the battle cry in XP" 
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Propoe 



► Desenvolver o primeiro sistema e testes automatizados 

► Ir modificando o sistema de modo a extrair uma API reusavel 

► Aplicar essa API ao primeiro sistema e aos seguintes 

► Testes servem de rede de seguranga 
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Estudo de Caso 



► Dois sistemas: 

► Monitorar linhas de tensao 

► Monitorar sensores em pogos de petroleo 

► Ambos feitos para grande mesa touchscreen 
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Avaliagao 



Vantagens ► Extragao de componentes apenas quando 
necessario 
► Mais proximo do estilo XP 



Desvantagens ► Teste de interface e complicado (contornaram 
isso criando interface acessivel por script) 
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Como Facilitar Testes de Ul? 



Test-Driven Development of Graphical User Interfaces: A Pilot 
Evaluation [Hellmann et al., 201 1] 



Problema ► Diffcil fazer testes para Ul antes dela ser 
implementada 

► Diffcil manter esses mesmos testes ao longo do 
projeto (interface pode mudar) 

► Diffcil identificar os elementos da Ul via testes 
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Propoe 



1 . Estabilizar projeto da Ul antes de comegar a desenvolve-la 
(via prototipo) 

2. Gravar interagao do usuario com o prototipo para gerar os 
testes 

3. Desenvolver funcionalidades 
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Estudo de Caso 



► Sistema de controle de despesas 

► Fizeram prototipagao do sistema e casos de teste 

► Pediram para 3 desenvolvedores implementarem codigo 
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Avaliagao 



Participantes acharam prototipo mais interessante do que os 
tentes em si 

Vantagens ► Testes serviram de guias para desenvolvedores 
► Participantes acharam interessante 



Desvantagens ► Poucos participantes no estudo 

► Durou apenas 1 hora 

► Depende de bons testes 
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A habilidade em escrever testes afeta o TDD? 



Impact of Test Design Technique Knowledge on Test Driven 
Development: A Controlled Experiment [Causevic et al., 2012] 



Duvida ► No TDD o programador escreve seus proprios 
testes 
► Sera que aulas sobre como escrever testes 
ajudam o TDD? 
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Estudo de Caso 



► Participantes foram avaliados antes e depois de um curso de 
1 semanas sobre testes 

► Avalizagoes consistiram de aulas em laboratorio resolvendo 
problemas e questionario 

► 14 times de 2 alunos cada 
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Estudo de Caso 



Avaliar ► Velocidade de desenvolvimento 

► Estorias implementadas 

► Qualidade do resultado 

► Defeitos 

► Cobertura 

► Simplicidade 

► Percepgao dos desenvolvedores 

► Facilidade de uso 

► Preferencia 
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Resultados 



► Quase nenhuma diferenga entre antes e depois do curso 

► Apenas cobertura de testes melhorou urn pouco 

► Talvez o curso sobre testes precisasse ser mais 
direcionado. . . 



Mas programadores gostaram de TDD! 



Teoria de Testes Teoria de TDD Metodologia de Pesquisa Artigos sobre TDD Artigos sobre Testes 



E o que ensinar sobre testes aos programadores entao? 



Effects of Negative Testing on TDD: An Industrial Experiment 

[Causevicetal., 2013] 

► A maioria dos testes feitos sao "positivos" 

► Porem os testes "negativos" sao mais eficientes para detectar 
defeitos 



Experimento ► Apenas 29% de testes negativos 
► Esses acharam 71% dos defeitos 
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Ferramenta para analise dinamica de comentarios 

@tcomment: Testing javadoc comments to detect 
comment-code inconsistencies [Tan et al., 2012] 

► Especifico para Java, Javadoc, Null e Excegoes 

► Gera testes de acordo com comentarios (analise dinamica) 



Resultados ► 7 projetos testados 

► 29 inconsistencias encontradas 

► 5 foram aceitas por desenvolvedores 

► 1 arrumando codigo 

► 4 arrumando comentario 
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E para achar erros em sites? 

Crosscheck: Combining Crawling and Differencing to Better 
Detect Cross-browser Incompatibilities in Web Applications 

[Choudharyetal., 2012] 

Baseado em: 

WebDiff ► Compara apenas telas 

► Analise muito superficial para aplicagoes 
modernas 



CrossT ► Analisa comportamento 

► Compara DOM 

► Gera muitos falsos verdadeiros 
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Preparagao para testes 

Coleta de dados de sites: 

CrawlJax ► Vasculhou 10 sites no Firefox e IE 

► Copiou DOM e telas 

► Conseguiram mais de 2000 relagoes tela-DOM 



Aprendizado de maquina: 



WEKA ► Manualmente marcaram quais tinham 
discrepancias significativas 

► Cercade200 
► Prepararam e testaram classificador 
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Experimento 



1 . Escolheram 5 sites aleatorios e 2 propositais 

2. Crawler copiou sites 

3. Classificador comparou dados 

4. Geraram discrepancias 

5. Agruparam de acordo com elemento causador 

6. Reportou incompatibilidades entre navegadores 
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Resultados 



Tabela : Comparagao entre ferramentas 



Crosscheck CrossT WebDiff 



Erros reais reportados 314 49 119 

% do total reportado 36% 2% 21% 
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E sobre Bases de Dados? 

Search-Based Testing of Relational Schema Integrity 
Constraints Across Multiple Database Management Systems 

[Kapfhammeretal., 2013] 

Estado atual ► Ha pouco estudo sobre teste de schemas 

► DBMonster e a ferramenta livre mais popular 

► Gera dados para teste aleatoriamente 



Proposta ► Usa abordagem de busca e de mutagao 

► Abstrai schema para saber o que testar 

► Testa integrity constraints gerando varios 
INSERTS 

► Verifica se algum dado que nao deveria passou 



Teoria de Testes Teoria de TDD 



Metodologia de Pesquisa 



Artigos sobre TDD Artigos sobre Testes 



Experimento 



► Comparar SchemaAnalyst (proposta) e DBMonster (existente) 

► 25 estudos de caso 



► 3 DBMS 



Postgres 

SQLite 

HSQLDB 
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Resultados 



SchemaAnalyst ► Mais rapido 

► De 1 00% a 96% de cobertura 



DBMonster ► Travou em alguns casos 

► Em media 50% de cobertura 
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Mas e quando precisamos de urn Oraculo? 



Diffcil de automatizar para a maioria dos casos. 
Entao deve ser algo caro. . . 
Como reduzir o custo? 
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Facilitando leitura das entradas 

Evolving Readable String Test Inputs Using a Natural 
Language Model to Reduce Human Oracle Cost 

[Afshanetal.,2013] 

► Processamento de linguagem natural nas entradas 

► Torna-as mais legfveis 

► Facilita para humanos verificarem safdas dos testes 

Testado em 3 casos 



► Reduziu tempo gasto em ate 60% 

► Aumentou acerto do oraculo em ate 30% 
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Mas ainda e um trabalho chato. E se. 



CrowdOracles: Can the Crowd Solve the Oracle Problem? 

[Pastoreetal., 2013] 



► Dividir problema em pedagos 

► Mandar problema para uma nuvem de usuarios 

► Amazon Mechanical Turk (AMT) 
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Experimento 



► EvoSuite para gerar assertions 

► Enviaram casos de teste para AMT 

► Trabalhadores deveriam avalia-los 

► Assertion esta correta 

►• Documentagao insuficiente 

► Assertion deve ser removida 

► Sugerir outra assertion 



So pessoas que entendem do assunto tentariam? 
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Resultados 



► Trabalhadores desqualificados foram muito mal 

► De 60% a 90% de respostas erradas 

► Pessoas que passaram em pequeno teste foram bem 

*- De 1 0% a 20% de erro nos casos simples 
►- De 20% a 60% de erro nos casos diffceis 

► Qualidade da documentagao tern alto impacto 

► Alto fndice de corregao de assertions 

*■ Apenas 13% de erros 

► Cerca de 1 mes para obter 20 avaliagoes qualificadas 

► Cerca de $0.20 gastos por teste (muito pouco!) 
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E os testes de GUI que tambem sao chatos? 



Crowdsourcing GUI Tests [Dolstra et al., 2013] 

► Tarefas colocadas no Amazon Mechanical Turk 

► Usuarios acessaram VMs via Flash do navegador 

► Seguiram instrugoes e responderam questionario 



Softwares testados 



KDE, XFCE, Tribler 
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Experimento 



Problemas ► Alta latencia (Holanda-lndia) 

► Preguiga (nao seguem especificagao) 

► Fraudes (5%) 



Pros ► Cerca de 400 trabalhadores 

► Pagamentos por volta de $1 .50 a hora (muito 
barato!) 

► Acerto por volta de 70% 
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Conclusoes 



► Barato! 

► Consegue grande numero de trabalhadores 

► Depende de paises com renda inferior 

► Tarefas simples para qualquer pessoa 



Sugestao de uso de VMs via navegador para reporte de falhas 



Teoria de Testes Teoria de TDD 



Metodologia de Pesquisa 



Artigos sobre TDD Artigos sobre Testes 



E como facilitar a corregao de erros reportados? 



R2Fix: Automatically Generating Bug Fixes from Bug Reports 

[Liu etal., 2013] 



► Analisa bugs corrigidos anteriormente 

► Relaciona descrigao deles as solugoes adotadas 

► Extrai padroes de resolugao 

► Aplica em novas descrigoes de bugs 

► Gera algumas possfveis corregoes 
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Resultados 



► Testado com Kernel Linux, Mozilla e Apache 

► Buffer overflows, null pointer bugs e memory leaks 

► Gerou cerca de 1 .3 patches por bug, 70% de acerto 

► 57 patches gerados corretamente 

► 5 deles ainda nao tinham sido arrumados 

► 4 ja foram aceitos e comitados nos repositories 
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FIM! 



Duvidas? 
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